Sverdlov sinh ra ở Nizhny Novgorod với tên gọi Yakov Mikhailovich Sverdlov có cha mẹ người Do Thái là Mikhail Izrailevich Sverdlov và Elizaveta Solomonova. Cha ông là một thợ khắc hoạt động chính trị rồi về sau làm giả mạo, lưu trữ vũ khí và xử lý một phần để hỗ trợ gia đình của mình. Gia đình Sverdlov có sáu người con: hai con gái (Sophia và Sara) và bốn người con trai (Zinovy​​, Yakov, Veniamin, và Lev). Sau khi vợ mất vào năm 1900, Mikhail và cả gia đình cải đạo sang Giáo hội Chính Thống giáo Nga và kết hôn với Maria Aleksandrovna Kormiltsev và có thêm hai người con trai (Herman và Alexander). Anh trai của ông đã được đại văn hào Maxim Gorky nhận nuôi và cũng là một khách mời thường xuyên tại nhà. Zinovy ​​về sau được biết đến với cái tên nổi tiếng Zinovy ​​Peshkov. Yakov Sverdlov gia nhập Đảng Lao động Dân chủ Xã hội Nga vào năm 1902 và sau đó là phe Bolshevik để hỗ trợ Vladimir Lenin. Ông đã tham gia trong cuộc Cách mạng năm 1905.

Sau bốn năm trung học, ông trở thành một nhà hoạt động ngầm nổi bật và người diễn thuyết ở Nizhny Novgorod. Ít lâu sau ông bị nhà cầm quyền bắt giam và lưu đày vào tháng 6 năm 1906 cho mãi đến khi Cách mạng năm 1917 bùng nổ mới được thả ra. Trong thời kỳ tù đày năm 1914-1916, ông đã sống lưu vong ở tại Turukhansk, Siberia, cùng với Joseph Stalin.